一、前言

前三天在 Google AI Studio 面試師爺 Gemini，
能看、能寫，能畫、能唱、能拍，還能說、能聽、能聊：
十八般武藝，樣樣俱全。

上工之前，老爺先安排一場職前訓練：
府裡的人要拿通行證，師爺才認得是自己人；
接待長輩時，什麼時候開口、哪些話不說，也要先講好。

• 想當面跟師爺聊天，要拿什麼通行證才進得了門？
• 師爺在 App 裡叫什麼名字、守哪些規矩？
• 長輩講話慢、停下來想，師爺會不會搶話？

今天完成職前訓練：門路打通、規矩定好。

二、Live API 的通行證怎麼選

（一）Live 怎麼接：兩種實作方式

Day17 串流辨識，為了保持「雙向奔赴」XD，
在 Cloud Run 開了 WebSocket 服務（系列裡的驛站）。

Live API 也需要維持「雙向奔赴」的連線：
麥克風的聲音一路送進去（16kHz PCM），
師爺的聲音也一路傳回來（24kHz PCM）。

官方說明，整合 Live API 時，要從兩種實作方式選一種：

Day17 的驛站，就是「伺服器對伺服器」這種做法。

（二）用戶端到伺服器：API 金鑰怎麼處理

App 直接連 Live 時，要帶的憑證有兩種：

• API 金鑰：直接放進 App，金鑰可以從 App 裡被取出。
• 暫時性權杖：後端用 API 金鑰向 Gemini 換一張短效的權杖，交給 App。

官方說明：
正式環境為了降低風險，建議用暫時性權杖，不要用一般的 API 金鑰。

暫時性權杖（ephemeral token）是官方繁中文件的名稱；
它目前是 Preview，只能用在 Live API。

想要即時連線跟師爺 Gemini 聊聊天，可以遞一張拜帖：
只能用一次、要馬上遞，談什麼、守什麼規矩，都寫在帖子上。

三、App 裡的名字：平安

「師爺」是鐵人賽文章裡的稱呼。
在 App 裡，Gemini 會是長輩們的「平安」，象徵著一種祝福期許。
每次對話結尾，「平安」也都會祝大家平平安安～

平安也是常用詞，家人隨口一句「平安就好」，會不會被當成在叫它？

實測：

三句日常用語都沒被當成在叫它；真的叫名字，就回應了。

為什麼Gemini能夠辨別是不是在叫他？我們看下一段！

四、Gemini 的通則守則

官方建議系統指令照「角色 → 對話規則 → 護欄」排列，
而且每個代理各寫一份。

所以每個活動都有一份完整的系統指令：
通則＋活動專屬，由 Cloud Functions 組好，鎖進權杖。

今天先定通則：

# 角色
你是「健口動一動」App 裡的 AI 小幫手，名字叫「平安」。
你陪{長輩暱稱}和家人一起玩今天的活動。
你是主持人和幫手，主角是{長輩暱稱}和家人。
你是 AI，不是真人，也不是家人；有人問起，就照實說。

RESPOND IN TAIWANESE MANDARIN, TRADITIONAL CHINESE.
YOU MUST RESPOND UNMISTAKABLY IN TAIWANESE MANDARIN.
長輩說台語時，用簡單的國語回答；
聽不懂時，請家人幫忙再說一次。

現在是 {日期、星期、時段}。
今天一起玩的人：{長輩暱稱}（長輩）、{家人暱稱}。
這次的活動：{活動名稱}，大約 {分鐘} 分鐘。

# 說話的方式
- 每次只說一兩句，一次只講一件事；說慢一點。
- 用正面的說法，不說「不要」「錯了」「不對」。
- 不考記憶、不打分數；每一次分享都是好的分享。
- 問經驗和感受，用「什麼時候、在哪裡、跟誰、
  怎麼、為什麼」開頭；少問「有沒有」「是不是」。
- 需要選擇時，最多給兩個選項。
- 長輩說的跟事實不同，不糾正，順著他的感受聊。
- 長輩停下來想的時候，安靜等，不催。
- 邀請長輩問家人問題，也請家人說說自己的經驗。

# 什麼時候開口
- 家人在帶長輩聊天時，你安靜聽，不插話。
- 只在這些時候開口：有人叫你「平安」；
  大家講完一段、安靜下來，需要你接下去；
  活動需要你整理、確認、收尾；收到「[App]」的提示。
- 「平安就好」「平安符」這類話，不是在叫你。

# 開場
- 收到「[App] 活動開始」才開場，三句以內：
  照時段打招呼，說今天的日期；說今天玩什麼、
  大約幾分鐘；說「想找我就叫我『平安』」。

# 結尾
- 說說今天{長輩暱稱}分享了什麼，謝謝每一位。
- 把聊天交還給家人，最後祝大家平平安安。

# 護欄
- 不提供醫療、用藥、診斷的建議，請家人問醫生。
- 有人身體不舒服、跌倒、想傷害自己：停下活動，
  請家人立刻協助；緊急請撥 119，心情低落可打 1925。
- 不問、不重複身分證字號、帳號、密碼、地址、電話。
- 長輩提到過世的人，不糾正，也不自己說出誰過世了。
- 不談政治、選舉，不評論宗教，不推銷東西。

這些守則的根據：

一開始守則只寫了日期，傍晚 6 點測試，Gemini 開口說「大家早啊」XD；
把「晚上」這個時段也寫進守則之後，就改成「大家晚安」。

守則是給 Gemini 看的，長輩和家人看不到；
各活動的專屬守則（一起說畫、時光寶盒），明天起一個一個加。

五、用 Cloud Functions 發暫時性權杖

（一）權杖上的設定

官方說明，
沒設定時，是 1 分鐘內要開始、30 分鐘後失效；
也可以把設定鎖在權杖上，讓系統指令留在伺服器端。

健口動一動是開源專案，系統指令本來就看得到。
鎖住設定，不是為了藏起來，
而是拿到權杖的人，也改不了師爺的守則、換不了模型。

（二）程式碼

發權杖的 createLiveSession，
跟 Day15 一樣是有 App Check（守衛）把關的 callable：

// 金鑰在 Secret Manager，程式碼裡只有名稱
const geminiApiKey = defineSecret("GEMINI_API_KEY");

exports.createLiveSession = onCall(
    {secrets: [geminiApiKey], enforceAppCheck: true},
    async (request) => {
      const now = new Date();
      const session = parseSessionRequest(request.data, now);
      const times = tokenTimes(now, session.minutes);
      const ai = new GoogleGenAI({apiKey: geminiApiKey.value()});
      // 整份設定鎖在權杖裡，App 送來的設定一律無效
      const token = await ai.authTokens.create({config: {
        uses: 1,
        expireTime: times.expireTime,
        newSessionExpireTime: times.newSessionExpireTime,
        liveConnectConstraints: buildLiveConstraints(session),
      }});
      return {token: token.name};
    },
);

鎖在權杖上的設定：

const config = {
  responseModalities: ["AUDIO"],
  // 系統指令（上方第四節）
  systemInstruction: buildSystemInstruction(session),
  // Gemini 說的話轉成文字，當字幕
  outputAudioTranscription: {},
  inputAudioTranscription: {},
  // 判斷長輩說完了沒（下方第六節）
  realtimeInputConfig: {automaticActivityDetection: {
    silenceDurationMs: 2000,
    endOfSpeechSensitivity: "END_SENSITIVITY_LOW",
  }},
  tools: [{functionDeclarations: [END_ACTIVITY]}],
};

暱稱、話題這些資料由 App 送來，再放進守則；
要防的是有人改了 App，把指令偽裝成暱稱或話題送進來。

所以：

• 話題、VAD 設定：App 只能送代號（例如 rice_cooker），
  Cloud Functions 拿代號查自己的清單，查不到就拒絕；
  放進守則的內容，寫在伺服器上。
• 使用者暱稱：每家不同，沒辦法列清單；
  所以去掉換行、括號這類符號，最多 12 個字，
  只放在守則裡「一起玩的人」那一格。

// 話題只收代號，內容寫在伺服器上
const WARMUP_TOPICS = {
  rice_cooker: "一台紅色的大同電鍋",
  // ……
};
const topic = WARMUP_TOPICS[data.topic];
if (!topic) throw new Error("沒有這個話題");

（三）App 用權杖連線

App 拿到權杖後，直接連 Live，網址最後帶上權杖：

wss://generativelanguage.googleapis.com/ws/
google.ai.generativelanguage.v1beta.GenerativeService.
BidiGenerateContentConstrained?access_token=暫時性權杖

（實際是同一行，這裡為了排版拆成三行。）

連上之後，雙方這樣一來一往：

官方建議聲音每 20～40 毫秒送一段。

官方說明，
Live 要先收到輸入才會開口；想讓它先開場，就給一句請它打招呼的提示。

Day20 在 AI Studio 測試時，
系統指令寫了「先跟大家打招呼」，但師爺沒有主動開口。

今天用 API 再測一次，系統指令一樣，連上後什麼都不送：
2 場等了 25 秒，Gemini 都沒有開口。

改成連上後先送一句「[App] 活動開始」（表格的③），
30 場測試，Gemini 都先開場，大約 1.1～2.6 秒開口。

Live 還是要有人先開口，Gemini 才會回應；
只是先開口的不是長輩或家人，而是 App 在背景送的一句「[App] 活動開始」。

「[App]」是自己訂的記號，
讓 Gemini 分得出這是 App 的提示，不是長輩或家人說的話。

（四）做完怎麼確認

App 的畫面明天接，今天先用測試腳本，走一遍 App 的路：
先過 App Check，向 Cloud Functions 領權杖（大約 1 秒），再拿權杖連 Live。

測試用一個「暖身聊天」活動：
長輩叫「阿嬤」、家人叫「小美」（測試用的暱稱），聊一台紅色的大同電鍋。

權杖上的三個限制，都測了：

第三項，Gemini 收到另一份系統指令，開口還是照守則：

阿嬤、小美，大家晚安！今天是二零二六年十月五日星期一。
我們今天要玩暖身聊天，大約八分鐘。
想找我就叫我「平安」；你們聊天時，我會安靜聽。

拜帖（權杖）就算被別人拿走，也只能見一次，改不了師爺的守則。

有一場的字幕，在「今天」前面多了一個印地文的 आज（意思也是今天）；
App 的字幕，明天接上時會再留意。

六、讓長輩把話說完：VAD（語音活動偵測）

（一）兩個設定

Day20 在 AI Studio 測過：長輩思考到一半，師爺就接話了。

Live 判斷「說完了沒」，依靠 VAD（Voice Activity Detection） 兩個設定：

官方建議安靜時間設 500～800 毫秒，伺服器預設約 800 毫秒；
設到 2000 毫秒以上，回應的延遲會變明顯。

（二）實測

今天用 macOS 內建的台灣國語語音 Meijia 模擬長輩，放慢速度念兩種句子：

句子一：我記得那時候（停一下）是在菜市場買的，花了好多錢。
句子二：是紅色的。（停一下）我小時候，家裡就有一台。

句子一的前半句一聽就還沒說完；
句子二的前半句，已經是完整的回答。

• 停頓：0.8、1.2、1.5、2、3 秒，各念一次。
• 送法：照真實速度，每 40 毫秒送一段；沒說話時送靜音，像真的麥克風。
• 設定：5 組，每組跑 3 場。

第一次用 macOS 的「Grandma」語音，聲音很機械，
Live 只聽到一個「我」字；換成 Meijia 的語音才聽懂XD

（三）結果

句子一，停頓的時候 Gemini 開口的次數（每格 3 場）：

• 2 秒＋LOW：停 2 秒以內，3 場都沒開口；停 3 秒，3 場都開口。
• 1.2、1.5 秒＋LOW：停頓比設定長一點，就開口了。
• 預設：這個句子幾乎沒被搶話，但回應的時間比較不固定。

句子二，停頓的時候 Gemini 有沒有開口：

Day20 被搶話的那一句，就是句子二這種：

紅色……（停 3 秒）……我小時候，家裡就有一台。

兩種句子都等得住的，只有 2 秒＋LOW，
所以健口動一動的 VAD，設成 2 秒＋LOW：

• 不搶話：兩種句子停 2 秒以內，Gemini 都沒開口。
• 回應時間：長輩說完，Gemini 大約 2.5 秒回應，比預設慢約 1 秒。
• 停超過 2 秒：Gemini 會開口，所以守則也寫了「長輩停下來想的時候，安靜等」。

七、連線時長：約 10 分鐘

官方說明有兩種上限：

• 一場（session）：
  沒開壓縮時，只有語音的一場最長 15 分鐘；有影像的一場是 2 分鐘。
• 一條連線（connection）：
  大約 10 分鐘，結束前會先送一個 GoAway 通知；
  用續接碼，一場可以換好幾條連線接著聊。

實測只有語音（沒開鏡頭、沒分享螢幕），跑了三場：
兩場連線後只送靜音，一場每 30 秒有人說一句話。

連線在第 10 分鐘被關閉，比「一場 15 分鐘」更早到。
沒辦法續接的話，一場活動就只有一條連線，也就是不到 10 分鐘。

續接沒接上，背後的取捨：

• 想守住的：守則不能被改，
  所以權杖把整份設定都鎖住，App 送來的設定一律無效。
• 連帶的影響：續接碼也是 App 要帶的設定，
  看起來也一起被忽略了；實測接回去，Gemini 不記得剛才聊過什麼。
• 試過的另一條路：SDK 有另一種鎖法，只鎖有設定的欄位，
  沒設定的讓 App 自己帶，續接碼就能帶過去。
  但改成這樣，建立權杖時回了錯誤（400）：
  SDK 2.27 自動產生的欄位清單裡有 tools.0，Gemini 不接受。

兩邊權衡，守則不能被改比較重要，就先放棄續接，讓活動配合連線的長度。

所以健口動一動的做法是：
一場活動 8 分鐘，加上收尾，在一條連線裡做完。

活動進行到一半斷線，長輩和家人就得重新開始；
所以活動的長度，配合連線的上限來設計。

八、免費層和付費層的 Live

（一）官方文件怎麼說

出處：價格頁、Gemini API 條款、工作階段管理；TPM 是 Day20 看到的數字。

官方說明，額度以專案計算，不是以金鑰計算：
App 的所有使用者，共用同一個專案的額度。

（二）實測：免費層和付費層的 Live

更正（10/6）：
抱歉，發文後才發現，Cloud Functions 用的是 Day15 存的免費層金鑰。
更換金鑰、重新部署後，重新補測了付費層。

免費層用了兩個沒有綁定帳單的專案，付費層用 Tier 1 的專案；
權杖照同一份設定建立，送的都是合成語音：

停 3 秒時，付費層有 1 場沒有搶話：
停頓中安靜等，長輩說完後 2.4 秒才回應；場次少，看不出跟層級有沒有關係。

免費層（另一個帳號）三項的終端機輸出：

這次測的項目，免費層和付費層的表現一樣；
差別在費用、送出的內容會不會拿去改進產品，以及每分鐘的額度。

九、今天實測的費用

Live 每一輪都會回報用量（usageMetadata）：
輸入的文字和聲音、Gemini 說的話，還有思考。

Gemini 只在需要的時候開口，費用也比較少。

更正（10/6）：發文時的 23 場測試走的是免費層，所以 Spend 頁的金額沒有變。
照付費層的價格換算，這 23 場大約 0.85 美元（約 NT$27）。
10/6 補測的付費層，VAD 那 3 場照用量估算約 0.14 美元，
實際金額以 Spend 頁為準。🙏🙇‍🙏

十、小結

• 通行證：
  API 金鑰留在 Secret Manager；
  Cloud Functions 換一張暫時性權杖（拜帖）給 App，
  只能用一次、1 分鐘內要開始，守則改不了。
• Gemini 名字：
  App 裡叫「平安」；「平安就好」這類日常用語，這次沒有誤判在叫它。
• VAD：
  先用 2 秒＋LOW；停頓 2 秒以內不搶話，回應比預設慢約 1 秒。
• 連線：
  大約 10 分鐘會被關閉、沒有先收到 GoAway；
  一場活動在 8 分鐘內做完。
• 免費層：
  權杖、VAD、連線長度的表現跟付費層一樣；
  差別在費用、內容用途和額度。

師爺正式上任了：拿得到拜帖的人才進得了門，見到的師爺都守同一套規矩。

十一、預告

明天把 App 的畫面接上，開始第一個活動：
一起說畫：你們說，Gemini 來畫。

感謝有緣看到這邊的你～
希望佛菩薩也祝福你：🌟開心自在 健康順遂🌟
南無觀世音菩薩🍀 南無地藏菩薩🏠 南無阿彌陀佛☀️